7.1 点估计法

1. 频率替换法

利用事件 $A$ 在 $n$ 次试验中发生频率 $\frac{n_A}{n}$，作为事件 $A$ 发生的概率 $p$ 的估计量。

$$\frac{n_A}{n} \xrightarrow{\space p\space } p (n\to\infty)$$

2. 矩估计方法

设总体 $X$ 的分布函数为 $F(x;\theta_1,\theta_2,\cdots,\theta_k)$，其中 $\theta_1,\theta_2,\cdots,\theta_k$ 是待估参数。设 $X_1,X_2,\cdots,X_n$ 是来自总体 $X$ 的一个样本，$X_1,X_2,\cdots,X_n$ 的 $r$ 阶原点矩存在，记为

$$M_r = \frac{1}{n}\sum_{i=1}^nX_i^r$$

令 $\mu_r(\theta_1,\theta_2,\cdots,\theta_n)\approx \frac{1}{n}\sum_{i}^{n}X_{i}^r$

一般地，不论总体服从什么分布，总体期望 $\mu$ 与方差 $\sigma^2$ 存在，则它们的矩估计量分别为 $\hat{\mu} = \bar{X} = \frac{1}{n}\sum_{i=1}^nX_i$ $\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n(X_i - \bar{X})^2=(CM)_2$

3. 最大似然估计法

原理：概率最大的事件在一次实验中最可能发生

一般的，设 $X$ 为离散型随机变量，其分布律为

$$P\{X=x\}=p(x;\theta_1,\theta_2,\cdots,\theta_n),\theta\in\Theta$$

则样本 $X_1,X_2,\cdots,X_n$ 的概率分布为

$$\begin{aligned} P\{X_1=x_1,X_2=x_2,\cdots,X_n=x_n\} &= p(x_1;\theta_1,\theta_2,\cdots,\theta_n)p(x_2;\theta_1,\theta_2,\cdots,\theta_n)\cdots p(x_n;\theta_1,\theta_2,\cdots,\theta_n)\\ &= \prod_{i=1}^np(x_i;\theta_1,\theta_2,\cdots,\theta_n)\\ &\triangleq L(\theta_1,\theta_2,\cdots,\theta_n) \end{aligned}$$

称 $L(\theta_1,\theta_2,\cdots,\theta_n)$ 称为样本的似然函数。

若 $X$ 为连续型随机变量，取 $f(x;\theta_1,\theta_2,\cdots,\theta_n)$ 为 $X$ 的密度函数.

3.1 常见分布的最大似然估计

正态分布

$$\begin{aligned} \hat{\mu}&=\bar{X}, \\ \hat{\sigma}^2 &=(CM)_2=\frac{1}{n}\sum_{k=1}^{n}(X-\overline{X})^2 \end{aligned}$$

均匀分布

$$\begin{aligned} \hat{a} &= \min\{X_1,X_2,\cdots,X_n\}, \\ \hat{b} &= \max\{X_1,X_2,\cdots,X_n\} \end{aligned}$$

指数分布

$$\begin{aligned} \hat{\lambda} &= \frac{n}{\sum_{i=1}^nX_i} \end{aligned}$$

泊松分布

$$\begin{aligned} \hat{\lambda} &= \frac{1}{n}\sum_{i=1}^nX_i \end{aligned}$$

二项分布

$$\begin{aligned} \hat{p} &= \frac{\overline{X}}{n} \end{aligned}$$

最大似然估计不变性

设 $\hat{\theta}$ 是 $\theta$ 的最大似然估计，$g(\theta)$ 是 $\theta$ 的连续函数，则 $g(\hat{\theta})$ 是 $g(\theta)$ 的最大似然估计。

• 对于矩估计法一般不成立估计不变性